Correcto se ve mejor: comparaciones por pares muestran rankings precisos
Las comparaciones por pares con Elo generan rankings de precisión casi perfectos en modelos de IA, minimizando sesgos de estilo y juez. ¡Descúbrelo!
#evaluación de ia
Evaluation Cards: capa interpretativa para la evaluación de IA
Evaluation Cards: una capa interpretativa que mejora la transparencia y comparabilidad en reportes de evaluación de IA, con análisis de más de 100 mil resultados.
Piensa rápido: Estimando horizontes temporales de IA sin CoT
Modelos de IA de frontera razonan sin cadena de pensamiento. Su horizonte temporal se duplica cada año. ¡Podría superar los 7 minutos en 2028!
CultureScore: Evaluando la fidelidad cultural en generación de video
CultureScore: Evalúa si los videos generados por IA representan fielmente culturas. Un benchmark clave para la equidad.
Estabilidad vs. Manipulabilidad: Robustez en Jueces de IA
¿Son confiables los jueces de IA? Este estudio revela que aunque estables, pueden revertirse con desafíos posteriores, afectando rankings y preferencias humanas.
PSEBench: Benchmark para evaluar LLMs en triaje de seguridad del paciente
Descubre PSEBench, el nuevo benchmark verificable para evaluar LLMs en el triaje de eventos de seguridad del paciente. Resultados clave y brechas identificadas.
Sesgo geográfico y diversidad en la evaluación de IA
Descubre cómo el sesgo geográfico afecta la evaluación de la IA y qué estrategias existen para garantizar diversidad y equidad en los modelos generativos.
Desfase fronterizo: auditoría de la tergiversación en evaluaciones de IA
Un estudio analiza 112,303 registros y revela que las evaluaciones académicas de IA están atrasadas hasta 1.4 generaciones de modelos. Descubre el 'publication elicitation gap'.
ReasoningFlow: Estructuras discursivas en trazas de LLM
ReasoningFlow revela patrones discursivos en trazas de LLM, mejorando la transparencia y el análisis del razonamiento automático.
100-LongBench: ¿Los benchmarks de contexto largo evalúan realmente la capacidad?
Descubre por qué los benchmarks actuales como LongBench no miden correctamente la capacidad de contexto largo de los LLMs y cómo una nueva métrica lo soluciona.
PoliticsBench: Evaluación de valores políticos en modelos de lenguaje
Descubre PoliticsBench, un benchmark que evalúa valores políticos en modelos de lenguaje mediante roleplay interactivo. ¿Qué sesgos revela?
Resultados de APIEval-20: lo que nos sorprendió y lo que significa
Analizamos 7 sistemas de IA en APIEval-20: desde LLMs hasta agentes de código. Sorprendentes hallazgos sobre detección de bugs y consistencia. ¡Descúbrelo!
PieArena: Ranking y Perfil de Agentes de Lenguaje en Negociaciones Realistas
PieArena mide la capacidad de negociación de los LLMs en escenarios reales. GPT-5 iguala o supera a humanos en este benchmark.
X-RAY: Mapeo del razonamiento en LLMs con sondas formales
Descubre cómo X-RAY mapea la capacidad de razonamiento de los LLMs usando sondas formales y calibradas, revelando asimetrías y fallos interpretables.
Skill-RM: Unificando Criterios Heterogéneos con Habilidades de Agente
Skill-RM unifica criterios heterogéneos usando habilidades de agente para optimizar LLMs en entrenamiento posterior. ¡Prueba el nuevo modelo!
Personas sintéticas para evaluar la alineación pluralista en IA
Las personas sintéticas permiten evaluar la alineación pluralista en IA generativa, superando benchmarks únicos y revelando la necesidad de mecanismos dinámicos.
Descubriendo brechas de competencia en LLMs y sus benchmarks
Un método innovador con autoencoders revela brechas ocultas en LLMs y benchmarks. Mejora la evaluación de modelos de IA identificando conceptos débiles.
Evaluación del razonamiento interactivo en LLMs: benchmark jerárquico con juegos
Descubre cómo un nuevo benchmark evalúa el razonamiento interactivo de los LLMs mediante juegos ejecutables, midiendo éxito, eficiencia y adaptación metacognitiva.
StemBind: Cuando la IA sabe la regla pero elige mal
¿Sabías que los modelos multimodales aciertan la regla pero fallan en la respuesta? Descubre StemBind, un benchmark que localiza el verdadero cuello de botella en el razonamiento visual abstracto.
TECCI: Ediciones complicadas de imágenes recopiladas y curadas
Descubre TECCI, el nuevo benchmark que revela cómo los editores de imágenes con IA fallan en tareas complejas. Resultados sorprendentes y análisis detallado.